Einrichtung

Pakete

pacman::p_load(tidyverse,
               here,
               janitor)

Daten

• Wir verwenden den Datensatz languageR_english.csv (im Ordner daten)

df_eng <- read_csv(here("daten", "languageR_english.csv")) |> 
1  clean_names() |>
2  arrange(word) |>
3  rename(
4    rt_lexdec = r_tlexdec,
5    rt_naming = r_tnaming
  ) |> 
6  select(age_subject, word, word_category, rt_lexdec, rt_naming)

‘Tidy’ Arbeitsablauf

• Abbildung 1 zeigt einen Überblick über den typischen Data-Science-Prozess
  • Wir importieren unsere Daten, bereinigen sie und durchlaufen dann einen Zyklus aus Umwandlung, Visualisierung und Modellierung, bevor wir schließlich unsere Ergebnisse kommunizieren

Abbildung 1: A model of the data science process from Wickham et al. (2023) (all rights reserved)

‘Tidy’ Daten

• dieselben Daten können auf verschiedene Weise dargestellt werden
• Wir werden uns 3 Tabellen ansehen, die genau dieselben Daten in verschiedenen Formaten darstellen
• Die Tabellen zeigen die gleichen Werte von vier Variablen:
  • Land (country)
  • Jahr (year)
  • Bevölkerung (population)
  • Anzahl der Tuberkulosefälle (cases)
• Jeder Datensatz ordnet die Werte anders an
• überlegen Sie, welche Tabelle für Sie am einfachsten zu lesen ist

Regeln für ‘tidy’ Daten

• Wahrscheinlich ist Tabelle 1 für Sie am einfachsten zu lesen
  • sie folgt den drei Regeln für aufgeräumte Daten (visualisiert in Abbildung 2):

1. Jede Variable ist eine Spalte, jede Spalte ist eine Variable
2. Jede Beobachtung ist eine Zeile, jede Zeile ist eine Beobachtung
3. Jeder Wert ist eine Zelle, jede Zelle ist ein Einzelwert

Abbildung 2: Image source: Wickham et al. (2023) (all rights reserved)

Warum ‘tidy’ Daten?

“Glückliche Familien sind alle gleich; jede unglückliche Familie ist auf ihre eigene Art unglücklich.”

— Leo Tolstoy

“‘Tidy’ Datensätze sind alle gleich, aber jeder ‘untidy’ Datensatz ist auf seine eigene Weise unordentlich.”

— Hadley Wickham

Die Arbeit mit aufgeräumten Daten hat zwei wesentliche Vorteile:

1. Die Arbeit mit einer konsistenten Datenstruktur ermöglicht es uns, Konventionen zu übernehmen.
   • Aufgeräumte Daten sind die allgemein vereinbarte Datenstruktur
   • Konventionen/Werkzeuge basieren auf der Annahme dieser Struktur
2. Die vektorisierte Natur von R kann glänzen
   • die meisten eingebauten R-Funktionen arbeiten mit Vektorwerten (und Spalten sind im Wesentlichen Vektoren)
   • Alle Pakete im tidyverse sind darauf ausgelegt, mit aufgeräumten Daten zu arbeiten (z.B. ggplot2 und dplyr)

Daten bereinigen (tidying)

• Umwandlung breiter Daten in lange Daten und langer Daten in breite Daten (neben anderen Schritten)
  • Ergebnis: aufgeräumte Daten (normalerweise)

‘Tidying’ Daten mit dem tidyverse

• Das Paket tidyr (aus tidyverse) hat zwei nützliche Funktionen zum Transponieren unserer Daten:

  • pivot_longer(): macht breite Daten länger
  • pivot_wider(): lange Daten breiter machen

Abbildung 3: die berühmteste Verwendung des Wortes Pivot (zumindest für Millenials) (Friends)

Breite versus lange Daten

• Wir müssen oft zwischen breiten und langen Datenformaten konvertieren, um verschiedene Arten von Zusammenfassungen oder Visualisierungen zu erstellen

• breite Daten: alle Beobachtungen zu einer Sache befinden sich in einer einzigen Zeile

  • ist normalerweise nicht aufgeräumt

• lange Daten: jede Beobachtung befindet sich in einer separaten Zeile

  • ist normalerweise aufgeräumt

• Beginnen wir mit dem typischsten Fall: Umwandlung breiter Daten in lange Daten

pivot_longer()

• im Datensatz languageR_english.csv (df_eng)
  • haben wir 4568 Beobachtungen (Zeilen)
  • Wir haben 5 Variablen (Spalten)
  • die Spalte age_subject gibt an, ob eine Beobachtung von einem Teilnehmer der Altersgruppe old oder young stammt
  • die Spalten word und word_category beschreiben Eigenschaften des Stimulus für eine bestimmte Beobachtung (d. h. das Wort)
  • die Spalte rt_lexdec enthält die Reaktionszeit für eine lexikalische Entscheidungsaufgabe
  • die Spalte rt_naming enthält die Antwortzeit für eine Wortbenennungsaufgabe

head(df_eng)

• Sind diese Daten in Tabelle 4 aufgeräumt?
• Sind diese Daten zu breit oder zu lang?
• Wie können wir diese Daten länger machen?

Our goal

• wir wollen Abbildung 4 produzieren

Abbildung 4: Our plot to be reproduced

• die beiden kontinuierlichen Variablen rt_lexdec und rt_naming erscheinen in Facetten
  • facet_wrap() nimmt eine kategorische Variable als Argument und erzeugt eine Facette für jede Kategorie
• wir brauchen also eine kategorische Variable, die die Ebenen lexdec und naming enthält
  • und eine kontinuierliche Variable, die die entsprechende Antwortzeit enthält

pivot_longer()

• Die Funktion pivot_longer() (von tidyr) konvertiert eine breite Datentabelle in ein längeres Format
  • wandelt die Namen der angegebenen Spalten in die Werte einer neuen kategorischen Spalte um
  • und kombiniert die Werte dieser Spalten in einer neuen Spalte

df_eng_long <- 
  df_eng %>% 
  pivot_longer(
    cols = starts_with("rt_"), 
    names_to = "response", 
    values_to = "time"
  )

• Vergleichen wir die Beobachtungen für die Wörter ace und act in
  • df_eng (Tabelle 5)
  • df_eng_longer (Tabelle 6)

Plotten unserer ‘tidy’ Daten

• Versuchen wir nun, unser Diagramm zu erstellen:
  • age_subject auf der x-Achse
  • time auf der y-Achse
  • Kategorien response in Facetten

Abbildung 5: Response times per age group for the lexical decision task vs. naming task

pivot_wider()

• Es kommt häufiger vor, dass man seine Daten verlängern will (man nimmt Spalten und macht aus deren Werten neue Zeilen)
  • aber manchmal möchte man seine Daten auch verbreitern (man nimmt Zeilen und verwandelt ihre Werte in neue Spalten)
• Die tidyr-Funktion pivot_wider() macht Datensätze breiter, indem sie Spalten vergrößert und Zeilen reduziert.
  • Dies ist hilfreich, wenn eine Beobachtung über mehrere Zeilen verteilt ist.
• Lassen Sie uns versuchen, df_eng breiter zu machen
  • Wir könnten zum Beispiel eine einzige Zeile pro Wort haben
    • mit einer einzigen Variablen für die Antwort des young Probanden und die Antwort des old Probanden

pivot_wider()

• pivot wider nimmt ähnliche Argumente wie pivot_longer(), mit einigen leichten Unterschieden:

  • id_cols (optional): identifizierende Spalten (welche Spalten identifizieren jede Beobachtung eindeutig?)
  • names_from: wie soll die neue Spalte heißen, die die vorherigen Spaltennamen enthält (muss eine kategorische Variable sein)?
  • names_prefix (optional): Präfix für die neuen Spaltennamen (optional)
  • values_von: neue Spaltenwerte

• lassen Sie uns zwei neue Variablen erstellen, die ihre Namen von age_subject und ihre Werte von rt_lexdec übernehmen

df_eng_wide <-
  df_eng %>%  
  select(-rt_naming) |> 
  pivot_wider(
1    names_from = age_subject,
2    values_from = rt_lexdec,
3    names_prefix = "lexdec_"
  )

• Vergleichen wir die Beobachtungen für die Wörter ace und act in
  • df_eng (Tabelle 5)
  • df_eng_longer (Tabelle 6)

• Auch hier haben wir keine Daten oder Beobachtungswerte geändert, sondern lediglich die Anordnung der Datenpunkte neu strukturiert.

Eindeutige Werte

• Wir haben rt_naming entfernt, weil es auch einen eindeutigen Wert pro Wort pro Altersgruppe hat
• wir ändern nur die Breite und führen NA-Werte für lexdec_young für alte Themen und NA-Werte für lexdec_old für junge Themen ein
• Hätten wir sie nicht entfernt, sähen unsere ersten 6 Zeilen wie Tabelle 9 aus
  • Vergleichen Sie dies mit der Ausgabe in Tabelle 8, sehen Sie den Unterschied?

Hausaufgaben

Für diese Aufgaben werden wir mit dem Datensatz df_eng arbeiten.

1. Verwenden Sie pivot_wider, um mit rt_naming neue Variablen zu erstellen: naming_old und naming_young, die die Reaktionszeiten beim Benennen für alte bzw. junge Teilnehmer enthalten. Hinweis: Sie müssen rt_lexdec entfernen. Der resultierende Datenrahmen sollte 2284 Beobachtungen und 4 Variablen enthalten.

2. Erstellen Sie Abbildung 6 neu. Hinweis: Sie benötigen pivot_wider().

Abbildung 6: Scatterplot of lexical decision task response times per word for old versus young participants

3. Warum brauchen wir den Datensatz df_eng_wide, um Abbildung 6 zu erstellen? Mit anderen Worten, warum ist df_eng_wide die geeignete Struktur für ein solches Streudiagramm, aber nicht df_eng_long?

4. Verwenden Sie df_eng_long und die Funktion summarise(), die wir im letzten Abschnitt gesehen haben, um die folgende Zusammenfassung zu reproduzieren:

# A tibble: 2 × 3
  response   mean    sd
  <chr>     <dbl> <dbl>
1 rt_lexdec  708.  115.
2 rt_naming  566.  101.

Hinweis: Müssen Sie NA entfernen (wir haben letzen Woche gesehen, wie man das macht)?